Elma Gordon-Cumming sinh ra ở Scotland, là chị cả trong số 5 người con của Sir William Gordon-Cumming, một Trung tá trong Tiểu đoàn 4, Vệ binh Scots (1848, 1919) và vợ ông, Florence Josephine Gordon-Cumming (nhũ danh Garner; 1870-1922), một nữ thừa kế có tài sản riêng sụp đổ trong cuộc hôn nhân. Cha của Elma là một chủ đất, binh lính, nhà thám hiểm và xã hội.[2]

Anh chị em của Elma là:[2]

• Thiếu tá Alexander Penrose, MC, 5 Bt. (1893 - 1939)
• Roualeyn (1895 - 1928)
• Michael Willoughby (1901 - 82)
• Cicely (1904-70)

Elma sau đó đã nhận tên thời con gái của mẹ mình làm bút danh. Danh tiếng của ngườu cha sĩ quan quân đội của bà đã bị hủy hoại ngay trước khi bà sinh ra, trongVụ bê bối Baccarat Hoàng gia. Năm 1891, ông bị buộc tội gian lận trong trò chơi baccarat với Hoàng tử xứ Wales (sau này là Vua Edward VII), Sir William đã kiện vì tội phỉ báng và thua cuộc.

Do vụ bê bối, Gordon-Cumming đã bị đuổi khỏi quân đội ngay sau ngày xét xử.[2] Elma hiểu rằng bà được kỳ vọng sẽ vực dậy gia đình bằng cách bước vào một cuộc hôn nhân tốt. Năm 1912, bà kết hôn với Đại úy Maurice Antony Crutchley Gibbs (1888-1974), một doanh nhân, người có hai con: Ronald và Daphne. Cặp đôi chuyển đến Úc, nơi họ sống 9 năm cho đến khi Elma gặp và yêu một doanh nhân người Anh khác, Lennox Pelham Napier (1891 Ném1940). Elma ly dị, mất quyền nuôi con trong quá trình này. Elma và Lennox kết hôn năm 1924 và có thêm hai đứa con, Patricia và Michael. Cặp đôi vẫn kết hôn cho đến khi Lennox qua đời vào năm 1940.[2]